(19) 



J) 



Europaisches Patentamt 
European Patent Office 
Office europeen des brevets 



(12) 



(43) Veroffentlichungstag: 

23.07.2003 Patentblatt 2003/30 

(21 ) Anmeldenummer: 02024856.3 

(22) Anmeldetag: 08.11.2002 



(H) EP 1 330 132 A2 

EUROPAISCHE PATENTANMELDUNG 

(51) lntCl7: H04N 13/00 



(84) Benannte Vertragsstaaten: 


(71) Anmelder: ROBERT BOSCH GMBH 


AJ BE BG CH CY CZ DE DK EE ES Fl FR GB GR 


70442 Stuttgart (DE) 


IE IT LI LU MCNLPTSESKTR 




Benannte Erstreckungsstaaten: 


(72) Erfinder: Franz, Matthias 


AL LT LV MK RO SI 


72074 Tuebingen (DE) 


(30) Prioritat: 17.01.2002 DE 10201523 





(54) Verfahren und Vorrichtunng zur Verdeckungsdetektion bei Bildsensorsystemen 



(57) Es werden ein Verfahren und eine Vorrichtung 
zur Verdeckungsdetektion bei Bildsensorsystemen vor- 
geschlagen, die aus wenigstens zwei Bildsensoren be- 



stehen, die im Wesentlichen dieselbe Szene aufneh- 
men. Unterscheiden sich wenigstens ein Bildmerkmal 
der jeweiligen Bilder unzulassig voneinander, wird ein 
die Verdeckung anzeigendes Signal erzeugt. 
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Beschreibung 

Stand derTechnik 

[0001] Die Erfindung betrifft ein Verfahren und eine 
Vorrichtung zur Verdeckungsdetektion bei Bildsensor- 
systemen, bestehend aus wenigstens zwei Bildsenso- 
ren. 

[0002] Bildsensorsysteme, die aus wenigstens zwei 
Biidsensoren bestehen, welche im Wesentlichen diesel- 
be Szene aufnehmen (sogenannte Stereokamerasyste- 
me), werden zukunftig insbesondere im Kraftfahrzeug- 
bereich eingesetzt, z.B. im Rahmen eines Fahrerassi- 
stenzsystems zur Objekterkennung. Da die aufgenom- 
menen Bilder in nachfolgenden Systemen ausgewertet 
werden, muG das Bildsensorsystem fur eine sichere 
Funktion und fur eine Sicherstellung der Qualitat der Bil- 
der sorgen, seine eigene Funktionsfahigkeit testen, bei 
auftretenden Fehlern reagieren und insbesondere 
nachfolgende, die Biider auswertenden Systeme uber 
das Auftreten und gegebenenfails die Art des Fehlers 
informieren. Ein Fehlerzustand, welcherdie Funktions- 
fahigkeit des Bildsensorsystems bzw. die Qualitat der 
gelieferten Bilder beeintrachtigen kann, ist die Verdek- 
kung des Sichtbereichs einer der Biidsensoren durch 
Storobjekte. Derartige Falle treten insbesondere im 
• Kraftfahrzeugbereich auf, wenn beispielsweise bei Re- 
gen derScheibenwischerkurzzeitig durch das Kamera- 
biid lauft oder die Windschutzscheibe vor einer Kamera 
verschmutzt ist. Eine solche Verdeckung hat beispiels- 
weise bei einer stereoskopischen Bestimmung von Ab- 
standen zu Objekten storehde.Einwirkungen. 

Vorteile der Erfindung 

[0003] Durch die Bildung eines die Verdeckung eines 
Bildsensors eines Bildsensorsystems anzeigenden Si- 
gnals bei unzulassigen Unterschieden in wenigstens ei- 
nem charakteristischen Merkma! in den von den wenig- 
stens zwei Biidsensoren aufgenommenen Bildern wer- 
den in vorteilhafter Weise Verdeckungen eines der Biid- 
sensoren erkannt und gegebenenfails an nachfoigende 
Systeme weitergemeldet. 

[0004] In vorteilhafter Weise konnen daher diese ge- 
eignet auf eine solche Verdeckungsmeldung reagieren, 
beispielsweise indem sie bei einer stereoskopischen 
Bestimmung von Objektdistanzen die von den Verdek- 
kungen betroffenen Bilder ausblenden und auf eine Ob- 
jekterkennung verzichten. 

[0005] In vorteilhafter Weise wird die Verdeckung 
durch Messung des Bildunterschiedes von wenigstens 
zwei Bildern eines Bildsensorsystems bestehend aus 
wenigstens zwei Biidsensoren ermittelt. Bei der Mes- 
sung des Bildunterschieds wird dabei in vorteilhafter 
Weise die ohnehin bestehenden Unterschiede in Folge 
von unterschiedlichen Sehwinkeln der Biidsensoren 
zwischen den Bildern berucksichtigt. Somit wird insbe- 
sondere zur Messung des Bildunterschieds ein sprung- ' 



hafter Anstieg dieses Unterschieds ausgewertet. 
[0006] In vorteilhafter Weise wird dadurch das Bild- 
sensorsystem in die Lage versetzt, einen wichtigen 
Aspekt seiner Funktionsfahigkeit selbst zu uberprufen 
5 und bei Vorliegen eines Verdeckungsfehlers andere Sy- 
steme zu informieren. 

[0007] Ais besonders vorteilhaft hat sich eine Mes- 
sung des Bildunterschieds direkt auf der Basis von 
Grauwerten des Bildes, etwa durch Bestimmung der Pi- 
10 xeldifferenzen oder durch Berechnung der Korrelation 
der Bilder oder anhand von Differenzen in sekundaren 
Bildmerkmalen wie beispielsweise dem Histogramm 
der Grauwerte, erwiesen. 

[0008] Vorteilhaft ist nicht nur die Anwendung der Ver- 
15 deckungserkennung bzw. Verdeckungsmeldung bei 
Stereokamerasystemen in Kraftfahrzeugen, sondern in 
alien den Bildsensorkonfigurationen, bei denen zwei 
odermehrere Biidsensoren die gieiche Szene abbilden, 
sowohl im Bereich der Kraftfahrzeugtechnik als auch 
20 auBerhalb davon. 

[0009] Weitere Vorteile ergeben sich aus der nachfol- 
genden Beschreibung von Ausfiihrungsbeispielen bzw. 
aus den abhangigen Patentanspriichen. 

25 Zeichnung 

[0010] Die Erfindung wird nachstehend anhand der in 
der Zeichnung dargestellte Ausfuhrungsform naher er- 
lautert. Die einzige Figur zeigt dabei ein Ubersichtsbild 
30 eines Stereokamerasystems mit Auswerteeinheit, die 
zur Bildung eines die Verdeckung eines der Kameras 
anzeigenden Signals ausgestaltet ist. 

Beschreibung von Ausfiihrungsbeispielen 

35 

[0011]. Figur 1 zeigt ein Ubersichtsbild eines Stereo- 
kamerasystems mit einer ersten Kamera 1 und einer 
zweiten Kamera 2. Beide Kameras sind so angeordnet, 
dass sie dieselbe Szene abbilden, allerdings unter ei- 
40 nem etwas unterschiedlichen Sichtwinkel. Somit ermit- 
teln beide Kameras Bilder der beobachteten Szene, die 
sie uber die Datenleitungen 3 und 4 an eine Auswerte- 
einheit 5 abgeben. Die Auswerteeinheit 5 besteht aus 
mehreren Modulen, die im bevorzugten Ausfuhrungs- . 
45 beispiel als Programme eines Mikroprozessors oder 
mehrerer Mikroprozessoren ausgestaltet sind. Zur Ver- 
deckungserkennung sind jeder Kamera zugeordnete 
Merkmalsbestimmungsmodule 6 bzw. 7 vorgesehen, 
welche aus dem jeweils zugelieferten Bild wenigstens 
50 ein typisches Merkmal ermitteln. Ein Vergleichsmodul 8 
vergleicht dieses wenigstens eine Merkmal der beiden 
Bilder. Bestehen unzulassige Abweichungen, andert 
sich insbesondere der ohnehin bestehende Unter- 
schied sprunghaft oder uberteigt die Abweichung eine 
55 vorgegebene Schwelle, wird ein Fehlersignal erzeugt, 
welches uber die Datenleitung 9 an nachfolgende Sy- 
steme weitergegeben wird. In einem Ausfuhrungsbei- 
spiel ist ein Verzogerungselement 10 vorgesehen, wel- 
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ches ein Fehlersignal fur andere Systeme erst dann er- 
zeugt, wenn eine bestimmte Anzahl von Vergleichsope- 
rationen unzulassige Unterschiede zwischen den bei- 
den Bildern ermitteln Oder dieses Ergebnis mit einer be- 
stimmten Haufigkeit auftritt (bei Auswertung sprungfor- 
miger Anderungen, wenn die Anderung eine bestimmte 
Zeit lang vorhanden bleibt). 

[0012] Je nach Ausfuhrungsbeispiel stehen als Bild- 
merkmale primare Oder sekundare Bildmerkmale zur 
Verfugung. Ein Beispiel fur ein primares Bildmerkmal 
ware der Vergleich von Grauwerten einzelner Pixel, wo- 
bei ein Fehler dann erkannt wird, wenn der Unterschied 
der Grauwerte in einem oder einer vorgegebenen An- 
zahl von Pixeln sprunghaft sich andert, oder wenn der 
Unterschied einen vorgegebenen Schwellenwert uber- 
schreitet. Ferner kann der Bildunterschied durch Be- 
stimmung der Korrelationsfunktion der Biider ermittelt 
werden, wobei bei einer fehlenden Korrelation, d.h. ei- 
nem entsprechenden Verlauf der Korrelationsfunktion, 
ein Verdeckungsfehler erkannt wird. Diese Situation 
wird anhand der GroGe und/oder Form der Korrelations- 
funktion bestimmt. Sekundare Bildmerkmale sind insbe- 
sondere die Histogramme der Grauwerte der beiden Bii- 
der, ausdenen bei unzulassigen Unterschieden im Rah- 
men der Vergleichsoperation das Fehlersignal abgelei- 
tetwird. Dabei wird z.B. eine sprungformige Anderung 
des Schwerpunktes des Histogramm oder seiner Form 
oder die nachfolgend beschriebenen Merkmalsvekto- 
ren ausgewertet. 

[001 3] In der in der Figur dargestellten Ausfuhrung 
wird die Bildunterschiedsmessung uber eine Extraktion 
von Bildmerkmalen realisiert. Diese Bildmerkmale sind 
entweder die Histogramme der Grauwerte des jeweili- 
gen Bildes oder auch eine ListedetektierterObjekte. Die 
gewonnenen Merkmalsvektoren (Liste der Objekte, Li- 
ste der Grauwerthaufigkeit, etc.) werden dann im Ver- 
gleichsmodul miteinander verglichen und durch ein Un : 
terschiedsmaB charakterisiert. Dieses Unterschieds- 
maG ist im einfachsten Fall ein AbstandsmaG zwischen 
den beiden Merkmalsvektoren oder das Skalarprodukt 
der beiden Vektoren. Oberschreitet dieses Unter- 
schiedsmaG beider Biider- oder Merkmalsvektoren ei- 
nen vorgegebenen Schwellenwert, der die Bildunter- 
schiede durch die unterschiedlichen Sehwinkeln der 
Bildsensoren berucksichtigt, wird eine Verdeckung er- 
kannt. Diese Erkennung wird mittels des erzeugten Si- 
gnals zusammen mit den Bildern in geeigneter Weise 
an die nachfolgenden Systeme weitergemeldet. 
[0014] Eine typische Situation, bei welcher die Ver- 
deckung erkannt wird, ist die Verdeckung einer der bei- 
den Kameras mit einem hinreichend groGen Gegen- 
stand. In diesem Fall signalisiert das Bildsensorsystem 
bzw. bei Einbeziehung des Bildsensorsystems in ein 
Gesamtsystem einen entsprechenden Fehler. 
[0015] Die beschriebene Vorgehensweise ist nicht 
auf die Anwendung von Bildsensorsystemen, die aus 
zwei Bildsensoren bestehen, im Kraftfahrzeug einge- 
schrankt. Vielmehr laGt sich die beschriebene Vorge- 



hensweise mit den entsprechenden Merkmalen aus au- 
Gerhalb der Kraftfahrzeugtechnik einsetzen, ferner bei 
Systemen mit mehr als zwei Kameras, bei denen die 
Vergleiche der Biider der einzelnen Kameras unterein- 
5 ander erfolgt. Voraussetzung ist lediglich, dass die ver- 
wendeten Bildsensoren dieselbe Szene aufnehmen. 



Patentanspriiche 

10 _ 
1. Verfahren zur Verdeckungsdetektion bei Bildsen- 
sorsystemen, wobei wenigstens zwei Bildsensoren 
vorgesehen.sind, die im Wesentlichen dieselbe 
Szene aufnehmen, dadurch gekennzeichnet, 

15 dass ein die Verdeckung.eines Bildsensors anzei- 
gendes Signal erzeugt wird, wenn die von den Bild- 
sensoren erzeugten Biider in wenigstens einem 
Merkmal unzulassig voneinander abweichen. 

20 2. Verfahren nach einem dervorhergehenden Anspru- 
che, dadurch gekennzeichnet, dass das zu ver- 
gleichende Bildmerkmal das Histogramm der Grau- 
werte des jeweiligen Bildes ist. 

25 3. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, dass das Bildmerkmal eine Liste von er- 
kannten Objekten ist. 

4. Verfahren nach Anspruch 1, dadurch gekenn- 
30 zeichnet, dass das Bildmerkmal die Grauwerte 

einzelner Pixel des Bildes ist. 

5. Verfahren nach Anspruch 4, dadurch gekenn- 
zeichnet, dass die Bildunterschiede aus den Grau- 

35 werten des Bildes durch Bestimmung von Pixeldif- 
ferenzen oder durch Bestimmung der Korrelation 
der Biider ermittelt werden. 

6. Verfahren nach einem der Anspruche 2 oder 3, da- 
40 durch gekennzeichnet, dass die Bildmerkmale 

als Merkmalsvektoren dargestellt werden, die mit- 
einander verglichen werden. 

7. Verfahren nach einem dervorhergehenden Anspru- 
45 che, dadurch gekennzeichnet, dass aus den er- 

mittelten Bildmerkmalen ein UnterschiedsmaG der 
beiden Biider ermittelt wird und dieses Unter- 
schiedsmaG mit einer vorgegebenen Schwelle ver- 
glichen wird, wobei bei Uberschreiten der Schwelle 
so eine Verdeckung erkannt wird. 

8. Verfahren nach einem dervorhergehenden Anspru- 
che, dadurch gekennzeichnet, dass ein unzulas- 
siger Unterschied in wenigstens einem Bildmerk- 

55 mal erkannt wird, wenn sich ein bestehender Unter- 
schied sprungformig andert. 

9. Vorrichtung zur Detektion von Verdeckungen in 
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Bildsensorsystemen mit wenigstens zwei Bildsen- 
soren, die im Wesentlichen dieselbe Szene aufneh- 
men, mit einer Auswerteeinheit, die die von den 
Biidsensoren erzeugten Bilderauswertet, dadurch 
gekennzeichnet, dass die Auswerteeinheit Mittel 5 
aufweist, welche ein Signal erzeugen, wenn wenig- 
stens ein Merkmal der Bilder der Biidsensoren un- 
zulassig voneinander abweicht. 

10. Vorrichtung nach Anspruch 9, dadurch gekenn- 10 
zeichnet, dass das Bildsensorsystem ein Stereo- 
kamerasystem im Kraftfahrzeug ist. 
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State of the art 



[ 0001 ] The invention concerns a procedure and a device for covering detection with image 
sensor systems, consisting of at least two image sensors. 

[ 0002 ] Image sensor systems, which consist of at least two image sensors, which essentially 
take up the same scene (so-called Stereokamerasysteme), become in the future in particular used 
in the motor vehicle range, e.g. in the context of a Fahrerassistenzsystems the object recognition. 
Since the taken up pictures in following systems are evaluated, the image sensor system must 
provide for a safe fimction and for a sicherstellung of the quality of the pictures, test its own 
operability, react in the case of arising errors and inform following in particular, the pictures of 
evaluating systems if necessary about the occurrence and the kind of the error. An error 
condition, which can impair the operability of the image sensor system and/or the quality of the 
supplied pictures, is covering the range of vision of one of the image sensors by breakdown 
objects. Such cases arise in particular within the motor vehicle range, if for example with rains of 
the windshield wipers briefly by the camera picture runs or the windshield before a camera is 
dirty. Such covering has for example with a stereoskopischen regulation from distances to 
objects disturbing effects. Advantages of the invention 

[ 0003 ] By the formation covering an image sensor of an image sensor system of indicating 
signal with inadmissible differences in at least a characteristic characteristic in of that at least 
two image sensors taken up pictures in favourable way covering one of the image sensors are 
recognized and to following systems passed on if necessary. 

[ 0004 ] In favourable way therefore these can react suitably to such a covering message, for 
example by fading out with a stereoskopischen regulation of object distances the pictures 
concerned by the covering and without an object recognition doing. 

[ 0005 ] In favourable way covering is determined by measurement of the picture difference by 
at least two pictures of an image sensor system consisting of at least two image sensors. During 
the measurement of the picture difference thereby in favourable way the differences in 
consequence, existing anyway, by different visual angles of the image sensors between the 
pictures one considers. Thus for the measurement of the picture difference a precipitous rise of 
this difference is evaluated in particular. 

[ 0006 ] In favourable way thereby the image sensor system is shifted into the situation to 
examine and inform when being present a covering error other systems an important aspect of its 
operability. 

[ 0007 ] When particularly favourably has itself a measurement of the picture difference directly 
on the basis of grey tones of the picture, approximately by determination of the pixel differences 
or by computation of the correlation of the pictures or on the basis differences in secondary 
picture characteristics as for example the histogram of the grey tones, proven. 
[ 0008 ] The application of the covering recognition and/or covering message is not only 
favourable with Stereokamerasystemen in motor vehicles, but in all the image sensor 
configurations, with which two or several image sensors illustrate the same scene, both within 
the range of automotive technology and outside of it. 

[ 0009 ] Further advantages result from the following description of remark examples and/or 
from the dependent patent claims. Design [ 0010 ] The invention is more near described below 
on the basis the execution form represented in the design. The only figure shows thereby a 
summary screen of a Stereokamerasystems with evaluation unit, which is out-arranged for the 
education of a signal indicating covering one of the cameras. Description of remark examples 



[ 001 1 ] Figure 1 shows a summary screen of a Stereokamerasystems with a first camera 1 and a 
second camera 2. Both cameras are in such a way arranged that they illustrate the same scene, 
however under a somewhat different viewing angle. Thus both cameras determine pictures of the 
observed scene, which they deliver over the data lines 3 and 4 to an evaluation unit 5. The 
evaluation unit 5 consists of several modules, which are out-arranged in the preferential remark 
example as programs of a microprocessor or several microprocessors. For covering recognition 
each camera is assigned determination of features modules 6 and/or. 7 intended, which determine 
a typical characteristic from the picture supplied in each case at least. A comparison module 8 
compares this at least characteristic of the two pictures. If inadmissible deviations exist, in 
particular the difference existing anyway changes precipitously or ueberteigt the deviation a 
given threshold, an error signal is produced, which over the data line 9 to following systems one 
passes on. In a remark example a delay element 10 is intended, which produces an error signal 
for other systems only then if inadmissible differences between the two pictures determine a 
certain number of comparison operations or this result with a certain frequency arises (during 
evaluation of sprungfoermiger changes, if the change remains long available a certain time). 
[ 0012 ] Depending upon remark example primary or secondary picture characteristics are 
available as picture characteristics. An example of a primary picture characteristic would be the 
comparison of grey tones of individual pixels, whereby an error is recognized if the difference of 
the grey tones in one or a given number of pixels changes precipitously, or if the difference 
exceeds a given threshold value. Furthermore the picture difference can be determined by 
determination of the correlation function of the pictures, whereby with a missing correlation, i.e. 
an appropriate process of the correlation function, a covering error is recognized. This situation 
is determined on the basis the size and/or form of the correlation function. Secondary picture 
characteristics are in particular the histograms of the grey tones of the two pictures, from which 
with inadmissible differences in the context of comparison operation the error signal is derived. 
E.g. a sprungfoermige change of the emphasis histogram or its form or those in the following 
described characteristic vectors is evaluated. 

[ 0013 ] In the execution represented in the figure the picture difference measurement is realized 
over an extraction by picture characteristics. These picture characteristics are either the 
histograms of the grey tones of the respective picture or also a list of detected objects. The won 
characteristic vectors (list of the objects, list of the grey tone frequency, etc..) in the comparison 
module are then compared with one another and characterized by a difference measure. This 
difference measure is in the simplest case a spacer measure between the two characteristic 
vectors or the dot product of the two vectors. If this difference measure of both picture or 
characteristic vectors exceeds a given threshold value, which considers the picture differences by 
different visual angles of the image sensors, a covering is recognized. This recognition is passed 
on by means of the produced signal as well as the pictures in an appropriate way to the following 
systems. 

[ 0014 ] A typical situation, with which covering is recognized, is covering one of the two 
cameras with a sufficiently large article. In this case the image sensor system signals and/or 
during inclusion of the image sensor system into an overall system an appropriate error. 
[ 0015 ] The described proceeding is not reduced to the use of image sensor systems, which 
consist of two image sensors, in the motor vehicle. Rather the described proceeding with the 
appropriate characteristics can be begun out outside of automotive technology, furthermore in 
systems with more than two cameras, with which the comparisons of the pictures of the 




individual cameras among themselves takes place. A condition is only that the used image 
sensors take up the same scene. 

1. Procedure for covering detection with image sensor systems, whereby at least two image 
sensors are intended, which essentially take up the same scene, by the fact characterized that 
covering an image sensor indicating signal is produced, if the pictures in at least one 
characteristic, produced by the image sensors, deviate inadmissibly from each other. 

2. Procedure after one of the preceding requirements, by the fact characterized that the picture 
characteristic which can be compared is the histogram of the grey tones of the respective picture. 

3. Procedure according to requirement 1, by the fact characterized that the picture characteristic 
is a list of recognized objects. 

4. Procedure according to requirement 1, by the fact characterized that the picture characteristic 
is the grey tones of individual pixels of the picture. 

5. Procedure according to requirement 4, by the fact characterized that the picture differences 
from the grey tones of the picture are determined by regulation by pixel differences or by 
determination of the correlation of the pictures. 

6. Procedure after one of the requirements 2 or 3, by the fact characterized that the picture 
characteristics are represented as characteristic vectors, which are compared with one another. 

7. Procedure after one of the preceding requirements, by the fact characterized that from the - 
determined picture characteristics a difference measure of the two pictures is determined and this 
difference measure with a given threshold is compared, whereby with exceeding of the threshold 
a covering is recognized. 

8. Procedure after one of the preceding requirements, by the fact characterized that an 
inadmissible difference in at least one picture characteristic is recognized, if an existing 
difference changes sprungfoermig. 

9. Device for detection by covering in image sensor systems by at least two image sensors, which 
essentially take up the same scene, by an evaluation unit, which evaluates the pictures produced 
by the image sensors, by it characterized that the evaluation unit exhibits means, which a signal it 
produces, if at least one characteristic of the pictures of the image sensors deviates inadmissibly 
from each other. 

10. Device according to requirement 9, by the fact characterized that the image sensor system is 
a Stereokamerasystem in the motor vehicle. 



